- 综合排序
- 最热优先
- 最新优先
- 来自专栏Apache Doris
招商信诺人寿基于 Apache Doris 统一 OLAP 技术栈实践
因此，我们希望寻找一个 OLAP 系统既能覆盖大部分的业务场景，也能够降低复杂技术栈带来的开发、运维和使用成本，还能最大化的提升架构性能。 架构 2.0：基于 Apache Doris 统一技术栈图片数仓架构的两代版本主要在存储、计算、查询分析方面有很大不同。 新架构不仅实现了技术栈的统一，还降低了开发、存储与运维等各方面的成本支出，实现了业务与数据的进一步统一。 保险一线业务收益与实践目前，基于 Apache Doris 统一技术栈的实时数仓已经在 2022 年 Q3 上线并投入生产环境使用，用于支撑海量数据的 OLAP 高效分析能力，并在平台上支撑了更多业务相关的场景 目前，我们已经基于 Apache Doris 替换了 Presto、Clickhouse、MySQL、HBase 多个组件以实现 OLAP 技术栈统一、各类成本降低，并提升导入与查询性能。
1.7K40编辑于 2023-09-19 - 来自专栏码字搬砖
常见开源OLAP技术架构对比
混合 OLAP ( HOLAP ) 混合 OLAP，是 MOLAP 和 ROLAP 的一种融合。当查询聚合性数据的时候，使用MOLAP 技术；当查询明细数据时，使用 ROLAP 技术。 顺便提一下，国内外有一些闭源的商业OLAP引擎，没有在这里归类和介绍，主要是因为使用的公司不多并且源码不可见、资料少，很难分析学习其中的源码和技术点。 在一二线的互联网公司中，应用较为广泛的还是上面提到的各种OLAP引擎，如果你希望能够通过掌握一种OLAP技术，学习这些就够了。 4. 只有真正有OLAP线上经验的人，在特定业务场景、特定数据量的，有过深入优化以上介绍的一种或者几种OLAP引擎经验的专家，才有相应的发言权来给出技术选型的建议。 但是由于这些OLAP引擎技术方案太多，不可能有哪个专家全都精通。
2.9K21发布于 2021-11-09 - 来自专栏Soul Joy Hub
数据仓库和OLAP技术概述
决策支持，相比于传统的联机事务处理应用程序，会有些不同的要求数据库技术。本文提供的数据概述数据仓库和OLAP技术，着眼于他们的新的要求。 介绍 数据仓库是决策支持技术的集合，旨在使知识工作者（总裁，经理，分析师）做出更快更好的决策。过去三年已经看到的爆炸性的增长，无论是在所提供的产品和服务的数量，还是在采用这些技术的工业领域。 相比之下，多维OLAP （ MOLAP）服务器直接把多维数据存储在特定的数据结构（例如，数组），并实现了OLAP在这些特点的数据结构的操作。 在3-7节，我们回顾了在数据加载相关技术和刷新数据仓库，仓库服务器，前端工具和仓库管理工具。在每一种情况下，我们指出什么是传统的数据库技术不同的，我们会提到有代表性的产品。 OLAP Council是在整个行业的标准化工作上一个很好的信息源。还有科德等人的论文定义了OLAP产品的12条规则。
76120编辑于 2022-05-18 - 来自专栏数据社
浅谈OLAP系统核心技术点
文章来自知乎，作者：neoReMinD OLAP系统广泛应用于BI、Reporting、Ad-hoc、ETL数仓分析等场景，本文主要从体系化的角度来分析OLAP系统的核心技术点，从业界已有的OLAP中萃取其共性 传统的OLAP需要做各种pipeline、ETL导入数据，这样的架构会存储多份数据，冗余并且一致性不好保证，也引入过多的技术栈和复杂度，也不能满足实时分析，即使mini-batch的处理仍然需要最快数分钟 事务处理和分析处理在一个数据库中提供，是最理想的状态，但是二者的技术体系往往又很难融合，因此现在很多数据库厂商都在做这方面的尝试，保证数据一致性是很大的挑战，一种思路是从OLTP到OLAP，多副本存储时 ，有些副本是专门为OLAP定制的，使用专用的OLAP引擎提供查询，另外就是赋予ACID和事务能力到OLAP系统中，使得OLAP也支持INSERT/DELETE/UPDATE操作。 传统的OLAP，例如Exadata等依赖于高端硬件，很多on-premise的解决方案也面临扩展性和成本问题，云原生的架构通过虚拟化技术，可实现更好的弹性计算，如果采用存储计算分离的架构还可以实现弹性存储
1.6K20发布于 2020-08-27 - 来自专栏技术成长
常见的OLAP架构分类以及技术演进
OLAP（联机分析处理）实现技术的演进主要包括以下几个阶段：多维数据库：OLAP最早的实现技术是多维数据库，它使用基于数组结构的多维模型来存储数据，并提供了灵活的查询和分析功能。 ROLAP（关系型OLAP）：为了解决多维数据库的不足，ROLAP技术将OLAP与关系型数据库相结合。 HOLAP技术能够在保持查询性能的同时，提供较好的数据更新和灵活性。这些演进对OLAP系统的影响如下：查询性能改善：随着OLAP实现技术不断演进，查询性能得到了显著改善。 多维数据库、MOLAP和HOLAP技术在查询和分析性能方面更为优秀，能够提供更快的响应时间。数据存储优化：OLAP实现技术改进了数据存储方式，提高了存储效率和查询效率。 总的来说，OLAP实现技术的演进对OLAP系统带来了查询性能的改进、数据存储的优化以及数据更新和灵活性的改善。
1.2K41编辑于 2023-10-09 - 来自专栏Flink实战剖析
OLAP介绍
OLAP概念 OLAP（On-Line Analytical Processing）即联机分析处理，通过对数据大量分析，得出分析报告，提供决策支持，其侧重数据分析能力，比喻说用户行为分析。 OLAP/OLATP对比 OLAP 功能型分类 ROLAP: 关系型OLAP 特点：基于原始数据灵活的查询分析，但是其性能差 代表：Hive、Spark、Impala、Presto、Clickhouse 、Hologres MOLAP: 多维型OLAP 特点：基于预聚合数据分析，性能高，灵活性差 代表：Kylin、Druid HOLAP: 混合型OLAP 混合型OLAP同时具有ROLAP、MOLAP的特点 OLAP 选择 在当前面对大数据量、低延时、灵活查询的场景下，没有一个OLAP引擎能够完全满足所有场景，需要根据特定的场景做tradeoff. ----
2.4K20编辑于 2022-11-21 - 来自专栏Ryan Miao
技术栈
方向 内容 后端 java基础(掌握多线程并发concurrent，java内存模型（java memory model，jmm），volatile，ThreadLocal，ConcurrentHashMap，CopyOnWriteArrayList) spring,springmvc,spring boot mybatis jfinal 缓存 ehcache 文件格式 xml json properties yml
1.1K110发布于 2018-03-13 - 来自专栏全栈程序员必看
前端技术栈总结_前端开发技术栈
大家好，又见面了，我是你们的朋友全栈君。 Design mobile：蚂蚁金服） Vue搭配的组件: PC（element UI，）, 移动端（vant有赞，Ant Design蚂蚁金服，uniApp） Ant Design 是阿里巴巴-蚂蚁金服体验技术部所设计的一个 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/210459.html原文链接：https://javaforall.cn
1.3K60编辑于 2022-11-17 - 来自专栏ApacheHudi
京东李海波：OLAP关键技术演进思考
OLAP的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此OLAP也可以说是多维数据分析工具的集合。 2. 左手数据库，右手大数据，处于中间的OLAP博采众长，查询引擎、事务、多版本机制来自数据库，又吸收了大数据分布式技术、多副本、列存等特性，走出了一条特色鲜明的技术路线。 下面挑选5款典型的开源OLAP引擎给大家介绍，Druid是最早的实时OLAP引擎，ES是基于全文检索的技术，Kylin是基于Hadoop生态的整合技术，CK和Doris是偏分析型数据库OLAP方案，他们都适合不同的场景 04 OLAP 的关键技术 Key Technology 通过上文的几款典型的OLAP引擎可以看出，OLAP技术呈现百花齐放的特点，因为篇幅有限，本节只能简单介绍OLAP中如下的技术，大家可以大体了解一下 索引技术也是OLAP中查询加速有效的手段，OLAP中的索引一般分为主键索引、Skipping索引、Bitmap索引、Bloom Filter索引等。
1.4K40编辑于 2023-02-28 - 来自专栏ApacheHudi
滴滴OLAP的技术实践与发展方向
经过1年多的发展迭代，ClickHouse和Druid成为了滴滴内部主要的OLAP引擎，也让OLAP在滴滴内部逐步发展起来。 可以将StarRocks中的实时数据、离线维度数据进行实时关联，免去中间数据同步的时间开销，通过一套技术方案，解决实时数据湖仓分析。 高精度基数的精确去重，一直是OLAP的技术难点，应对每天上亿规模明细数据的count(distinct())计算，对计算资源消耗是个大挑战。 第二，筛选的维度比较灵活。 课题：探索一个技术方案，在可接受的成本基础上，达成业务应用场景目标。 结合业务特点，基于StarRocks的物化视图能力，对整个看板场景链路进行加速优化设计。 由于看板查询都是基于平台配置，自动生成的查询SQL，因而通过分析历史查询记录，提取高频查询，进行物化视图自动创建，降低人工参与，才能更有利于实现技术的更大规模应用和推广。
77010编辑于 2024-02-06 - 来自专栏一个会写诗的程序员的博客
主流的 OLAP 引擎介绍 - OLAP极简教程
在做数据分析时有OLAP、OLTP是我们必定会遇到的技术，在介绍OLAP引擎技术选型之前，我们先看看这两个技术分别是什么意思？ OLAP（OnlineAnalyticalProcessing联机分析处理），是大数据分析的应用技术，提供复杂的分析操作、侧重决策支持。 3.混合OLAP ( Hybrid OLAP ) 混合 OLAP，是 MOLAP 和 ROLAP 的一种融合。当查询聚合性数据的时候，使用MOLAP 技术；当查询明细数据时，使用 ROLAP 技术。 混合OLAP的技术体系架构如下图： 混合 OLAP的优势在于其很好的结合了MOLAP和ROLAP的优势之处，并且提供了所有聚合级别的快速访问。 总结 本文通过介绍了什么是OLAP以及OLAP的分类，从而对目前主流的 OLAP 引擎进行了介绍和对比，但是关于最终在技术选型上如何选择合适的大数据引擎，还是需要用户根据实际情况进行选择。
9.8K22编辑于 2021-12-24 - 来自专栏喔家ArchiSelf
全栈的技术栈设想
全栈不是全能，只要覆盖了所使用的技术栈就是全栈，例如LNMP，Linux＋Nginx＋Mysql＋PHP。 全栈架构师关注的是业务所采纳的全部技术栈，以及技术栈所涉及的系统性能、安全，高可用等诸多因素。 ? 和习武一样，我想试图探讨一下全栈的套路，很多能力不是通过当头棒喝产生的。郭大侠需要降龙十八掌，令狐冲以无招胜有招也需要独孤九剑。我觉得全栈的技术栈可以主要分为3个切面：技能，性能 和效率。 缓存是减少负载，提高系统性的必备技术。可以从客户端，网络侧，服务端三个环节对缓存进行分类，具体可以参考《老曹眼中的缓存技术》。 ? 啰哩啰嗦，只是想探讨一下全栈的套路，也许这本身就是一个伪命题。 ? 这是我非常喜欢的一句话，印在公司的墙上，“以匠心，铸非凡”，送给每一个热爱技术的朋友！
94530发布于 2018-08-22 - 来自专栏LNMP开发那些事
PHP技术栈
文章转自脚本之家，原文名称为《中高级PHP程序员应该掌握哪些技术》，点击这里查看原文。 本文把php程序员划分为中、高级程序员两大类程序员，并针对这两大程序员应具备的技能进行分类探索。 max_requests/max_children/request_terminate_timeout之类的影响性能的配置），知道mod_php /fastcgi的区别；在PHP方面已经能够熟练各种基础技术 （纵深维度发展） 目标：除了能够完成基本的PHP业务开发，还能够解决大部分深入复杂的技术问题，并且可以独立设计完成中大型的系统设计和开发工作；自己能够独立hold深入某个技术方向，在这块比较专业。 ，比如事务机制（隔离级别、锁等）、对触发器、 分区等技术有一定了解和应用；对MySQL性能方面，有包括磁盘优化（SAS迁移到SSD）、服务器优化（内存、服务器本身配置）、除了二阶段的其他核心 性能优化选项 从基本代码应用上面来说，能够解决在PHP开发中遇到95%的问题，了解大部分 PHP的技巧；对大部分的PHP框架能够迅速在一天内上手使用，并且了解各个主流PHP框架的优缺点，能够迅速方便项目开发中做技术选型
2.4K30发布于 2019-07-31 - 来自专栏全栈程序员必看
OLAP组件选型
大家好，又见面了，我是你们的朋友全栈君。 OLAP组件选型 一、OLAP简介 1、olap准则 2、OLAP场景的关键特征 3、与oltp比较 二、开源引擎 1、Hive 2、spark SQL 3、presto 4、kylin 5、impala ，查询方式灵活，然而缺点也显而易见，每次查询都需要对数据进行聚合计算，为了改善短板，ROLAP使用了列存、并行查询、查询优化、位图索引等技术。 5、impala https://impala.apache.org/ Impala也是一个SQL on Hadoop的查询工具，底层采用MPP技术，支持快速交互式SQL查询。 发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/234236.html原文链接：https://javaforall.cn
3.6K30编辑于 2022-11-17 - 来自专栏数据库
OLAP 与 OLTP
OLTP比较常用的设计与优化方式为Cache技术与B-tree索引技术，Cache决定了很多语句不需要从磁盘子系统获得数据，所以，Web cache与Oracle data buffer对OLTP系统是很重要的 另外，在索引使用方面，语句越简单越好，这样执行计划也稳定，而且一定要使用绑定变量，减少语句解析，尽量减少表关联，尽量减少分布式事务，基本不使用分区技术、MV技术、并行技术及位图索引。 在OLAP系统中，常使用分区技术、并行技术： 【1】分区技术在OLAP系统中的重要性主要体现在数据库管理上，比如数据库加载，可以通过分区交换的方式实现，备份可以通过备份分区表空间实现，删除数据可以通过分区进行删除 【2】并行技术除了与分区技术结合外，在Oracle 10g中，与RAC结合实现多节点的同时扫描，效果也非常不错，可把一个任务，如select的全表扫描，平均地分派到多个RAC的节点上去。 .* from table a;分开设计与优化 【1】在设计上要特别注意，如在高可用的OLTP环境中，不要盲目地把OLAP的技术拿过来用。
65910编辑于 2024-09-16 - 来自专栏数仓建模
OLAP引擎
时序型数据的实时OLAP分析：a.明细数据产生速率快b.原始数据量大，以简单（sum/count/min/max）为主，c.去重指标不多（1~2个）doris1、运维成本低，无外部依赖，部署简单。 多维过滤场景下性能较低2、同时负责数据导入, compaction, 查询, 这些操作之间会相互影响基于MPP高性能计算，提供灵活高的分析（主要依靠现场计算）：a.明细查询b.主键更新的场景c.百毫秒的高性能灵活d.OLAP 二、行业情况调研公司业务特点引擎使用阿里查询场景丰富、规模大、服务内部也对外提供云服务自研OLAP引擎为主、基于MPP架构和自研存储系统支持需求闭源。 典型系统：Doris腾讯查询场景丰富、大业务线有自己的OLAP团队；开源和自研OLAP都有不同业务线采用、典型系统：Clickhouse、PivotEngine（广点通自研OLAP引擎）头条查询场景集中
1.1K50编辑于 2022-09-08 - 来自专栏PostgreSQL研究与原理解析
国产数据库-HTAP-MatrixOne的OLAP技术特性
国产数据库-HTAP-MatrixOne的OLAP技术特性 MatrixOne是矩阵起源数据库创业公司打造的开源超融合异构数据库，能同时灵活支持OLTP、OLAP等不同工作负载。 下面学习下其关于OLAP方面的技术特性。 1、优化器 为减少IO采用的技术特性：1）列裁剪；2）谓词下推；3）谓词推荐；3）Runtime filter 列裁剪：当然基于列存，扫描时，仅扫描需要的列。 另外字节跳动火山引擎ByteHouse的hash join中也用到了此项技术：join中除了join条件外，针对右表还有过滤条件，右表过滤后结果集比较小时，使用该结果集值针对join条件去对左表进行过滤
66220编辑于 2023-08-09 - 来自专栏全栈程序员必看
java栈的实现_java技术栈
大家好，又见面了，我是你们的朋友全栈君。 一.数组实现的栈，能存储任意类型的数据。 mArray; //栈的数组结构 private int top; //栈“指针” private int count; //栈中元素的个数 public ArrayStack( ()); //判断栈是否为满 System.out.println("isFull:"+stack.isFull()); //依次出栈 System.out.println("\n"+"依次出栈："); System.out.println("1栈顶元素为："+stack.peek()); //输出栈顶元素，删除栈顶元素。 "); //依次出栈 System.out.println("依次出栈："); while(!
69040编辑于 2022-10-03 OLAP 是什么？一文讲清 OLAP 和 OLTP 的区别
一、OLAP 基础概念解读1.OLAP 的定义说白了，OLAP 就是一种专门用来对大量历史数据进行多角度分析的技术。 企业迫切需要一种能高效分析海量历史数据、支持灵活查询的方法，OLAP 技术应运而生。用过来人的经验告诉你，很多企业发展到一定规模，数据分析就成了瓶颈，OLAP 提供了有效的解决途径。 OLAP数据虽然实时性要求不高，但历史分析数据同样重要，也需要定期备份。Q&A 常见问答Q：OLAP 和 OLTP 能在同一个系统里搞定吗？A：技术上有可能，但实践中通常强烈建议分开部署！ 根据具体的业务分析需求选择合适的OLAP技术路线和分析工具，不要盲目追求新技术。实施 OLTP：性能和稳定性是核心。 那么，企业在进行技术选型时，最关键的一步是先想明白自己的核心需求到底是什么，明确了核心目标，再结合具体需求，去选择最合适的OLTP或OLAP系统（或工具）。
2.5K00编辑于 2025-07-04什么是 OLAP？一文搞懂 OLAP 定义及特点
面对这种局面，OLAP（联机分析处理）就成了破局的关键。说白了，它就是一种技术，专门帮你快速、灵活地从各个角度分析海量数据。 接下来，咱就详细聊聊OLAP到底是怎么回事，它都有哪些真本事。一、OLAP基础概念解读1.OLAP的定义简单来说，OLAP就是一种专门用来“分析”数据的工具。 它就是个技术名词，代表多个维度组合成的数据空间。重点在于，这种结构让系统能高效地按你选的维度组合快速计算和返回结果。 Q：企业上OLAP最该注意什么？A：用过来人的经验告诉你三点：先想清楚核心问题：别为技术而技术。你是要降库存？减坏账？先锁定目标再选维度。数据质量是命门：数不准一切白搭。 最后说两句我一直强调，技术是工具，核心是解决问题。OLAP不是万能药，但对需要快速看透数据、多维度找根因的企业，它几乎是必选项。尤其是现在数据量只增不减，靠人肉分析根本不可能。
76400编辑于 2025-07-04
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号